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@ Dispositif d'ex^cution de commandes virtuelles autoadaptatif. 

(57) L'Invention concerne un dispositif d'ex6cu- 
tion de commandes virtuelles autoadaptatif. 

Le dispositif comporte des moyens d'exScu- 
tion (1) entre un op^rateur et un syst§me d'lnte- 
raction homme-machlne, et des moyens 
d'analyse (2). Les moyens d'lnteraction (1) four- 
nissent des informations aux moyens d'analyse 
(1) qui reconnaissent une commande, r6alts6e 
par Toperateur, indiquant une action et un objet 
d^ign6 sur lequel porte cette action. Le dispo- 
sitif comporte en outre des moyens de memori- 
sation (3) des actions ex^cutables par le 
syst^me. Une action executable m6moris6e est 
fonction au moins d'une commande. d'un 
moyen d'interaction et d'un objet Les moyens 
de memorisation (3) sont relies aux moyens 
d'analyse (2) de maniere d ce que ceux-ci trans- 
mettent ^ des moyens d'execution (4) une 
action ^ executer en fonction au moins de la 
commande et des moyens d'interaction utilises 
par Toperateur et de Tobjet qu*il designe. 

Application : Systdmes d'interaction honv 
me-machine. 
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La presente invention concerne un dispositif 
d'ex6cution de commandes virtue! tes autoadaptatif. 
Elle s'applique notamment d des syst^mes d'interao 
tion, chaque canal 6tant par example utilise suivant 
plusieurs modes. Plus g^n^ralement. el!e s'appilque 
^ des syst^mes n'ayant pas de canal preferentiel de 
dialogue, chaque canal dMnteraction dtant utilise par 
exemple au mieux de ses performances. 

Les systdmes d'interaction homme-machine ac- 
tuals utilisent essentiellement des moyens de dialo- 
gue conventionnels tels qu'un clavier, une souris ou 
une boule par exemple. Des commandes virtuelles 
existent g^n^ralement sur les micro-ordinateurs no- 
tamment sous forme de commandes graphiques. 
L'utilisation des moyens de dialogue conventionnels 
pr^cit^s rendent assez lourde, peu ergonomique, Tuti- 
lisation des commandes virtuelles, qu'elles soient 
opSrationneiles sur des micro-ordinateurs ou sur des 
syst^es dMnteractlon plus complexes. Avec ces 
moyens de dialogue actuets, ces commandes n6ces- 
sitent. pour fonctionner, de multiples operations de 
selections, r§alls6es g6n6ralement d I'aide d'une sou- 
ris. Par exemple, rop6ration de changement de taille 
d'un objet graphique, n^cessite de selectionner un 
outil, le curseur, puis de selectionner I'objet, puis de 
selectionner sur un rectangle repr^sentant la taille de 
Tobjet un des cdtes, et enf in de le deplacer dans une 
direction appropriee. Cette multitude d'operatlons, et 
leur complexity, diminuentia rapidite de realisation de 
la commando. Le manque de souplesse d'utiiisation 
de ces commandes virtuelles est encore accru par le 
fait que chacune d'entre elles a generalement une 
fonction unique et independante de I'objet sur lequel 
elle intervient. un objet pouvant etre par exemple un 
element graphique d'un ecran de visualisation. 

Le but de I'invention est de pallier les inconve- 
nients precites, notamment en permettant aux 
commandes virtuelles de s'autoadapter au systeme 
dans lequel elles sont mises en oeuvre. 

A cet effet, I'invention a pour objet un dispositif 
d 'execution de commandes virtuelles comportant des 
moyens d'interactlon entre un operateur et un syste- 
me d'interaction homme-machine. et des moyens 
d'analyse, les moyens d'interaction fournissant des 
informations aux moyens d'analyse qui reconnais- 
sent une commande. r6alis6e par I'operateur, indi- 
quant une action et un objet designe sur lequel porte 
cette action, caracterise en ce qu'il comporte en outre 
des moyens de memorisation des actions executa- 
bles par le systeme. une action executable memori- 
s6e etant fonction au moins d'une commande. d'un 
moyen d'interaction etd'un objet, les moyens de me- 
morisation etant relies aux moyens d'analyse de ma- 
niere S ce que ceux-ci transmettent ^ des moyens 
d'execution une action S executer en fonction au 
moins de la commande et des moyens d'interaction 
utilises par I'operateur et de I'objet qu'il designe. 
L'invention a pour principaux avantages qu'elle 



permet d'accroTtre la rapidite d'executton des 
commandes virtuelles. qu'elle ameiiore fergonomie 
des systemes d'interaction homme-machine, qu'elle 
diminue le nombre necessaire de commandes virtuel- 

5 les et qu'elle permet notamment d'utiliser des moyens 
d'interaction non conventionnels tels que la recon- 
naissance vocale. la reconnaissance gestuelle. I'ocu- 
lometrie ou la detection de positions par exemple. 
D'autres caracteristiques et avantages de Tinvern 

10 tion apparattront d I'aide de la description qui suit faite 
en regard des dessins annexes qui representent : 

- la figure 1. un synoptique d'un mode de reali- 
sation possible d'un dispositif selon I'inven- 
tion ; 

15 - la figure 2. une illustration d'echanges de don- 

nees ; 

- la figure 3. un mode d'utilisation possible du 
dispositif selon I'invention. 

La f igure 1 presente un synoptique d'un mode de 

20 realisation possible d'un dispositif selon i'invention. 
Des moyens d'interaction 1 sont relies ^ des moyens 
d'analyse 2 auxquels ils fournissent des messages. 
Les moyens d'interaction 1 permettentd un operateur 
de dialoguer avec une machine comportant notam- 

25 ment les moyens d'analyse 2. Les myens d'interac- 
tion peuvent etre par exemple la voix. le geste. le re- 
gard ou la position de I'operateur associes ^ des 
moyens de reconnaissance, tels que la reconnaissan- 
ce vocale, la reconnaissance gestuelle, I'oculometrie 

30 ou la reconnaissance de positions. L'op6rateur, en uti- 
lisant ces moyens d'interaction, dispose d'un jeu de 
commandes virtuelles pour agir sur des objets qu'il 
designe. les comnriandes virtuelles indiquant la desi- 
gnation d'un objet et une action sur cet objet. Dans le 

35 cas d'utilisation des moyens d'interaction predtes, 
I'operateur peut par exemple Indiquer Taction de ma- 
niere vocale et designer I'objet d'un geste de la main. 
Un grand nombre de combinaisons et d'utilisation de 
moyens d'interaction peuvent en effet §tre mises en 

40 oeuvre. Ces combinaisons rendent les comnr^ndes 
multimodales. un mode correspondant ^ une combi- 
naison ou une utilisation de moyens d'interaction don- 
nees. Les moyens d'analyse 2 realisent une analyse 
syntaxique des messages fournis par les moyens 

45 d'interaction 1 , puis interprdtent ces messages et de- 
terminent le ou les moyens d'interaction d'ou provlen- 
nent ces messages. Pour un message regu et inter- 
prete, ils ont done connaissance au moins, de la 
commande executee par I'operateur. du ou des 

so moyens d'interaction utilises par I'operateur pour 
transmettre la commande, et de I'objet designe par la 
commande, c'est-^-dire de Tobjet sur lequel porte 
Taction indiquee par la commande. Des nwyens 3 
pour memoriser les actions executables par le syste- 

55 me sont relies aux moyens d'analyse 2. Selon I'inven- 
tion, une action executable memorisee est fonction 
d'au moins une commande. d'un moyen d'interaction 
et d'un objet Les nK)yens d'analyse 2 ayant connais- 
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sance de ces trois paramStres, 3s peuvent lire dans 
les moyens de memorisation 3 des actions ex6cuta- 
bfes et indiquer en consequence ^ des moyens d'ex6- 
cution 4, les actions ^ ex^cuter. Les actions ex^cuta- 
bles m§moris6es sont par exemple choisies de ma- 
ni^re k doter )e syst^me d'interaction homme* machi- 
ne d'une capacity d'auto-adaptation au contexte de 
revolution de la commande virtuelle. le contexte etant 
notamment dSf ini par la commande elle-m&me, par 
les moyens d'interaction et par Tobjet d6sign6 par la 
commande et sur lequel porte Faction commandee. 
Cela ameiiore la souplesse et Tergonomie du syste- 
me. 

Une comnDande virtuelle est cbmposee g^nerale- 
ment de plusieurs phases qui s'enchainent s^quen- 
tiellement. Une commande virtuelle peut comprendre 
par exemple trois phases, une phase de selection, 
une phase de validation et une phase d'action. Selon 
Tinvention. une commande virtuelle possede la capa- 
cite d'adapter ses actions en fo notion de Tobjet qui est 
seiectionne. Cette adaptation peutsefaire en fonction 
de la nature de Tobjet, mais aussi par exemple en 
fonction de ses proprietesi 

A titre d'exemple, la commande suivante "pren- 
dre un objet du t)out des doigts puis tourner la main 
autour de I'axe du bras" peut etre executee. Dans le 
cas ou la commande virtuelle est compos6e des trois 
phases precedentes, une fois les phases de selection 
et validation terminees, la commande virtuelle execu- 
te parmi les actions executables celle qui correspond 
d I'objet seiectionne. Ainsi. les actions executables 
peuvent par exemple §tre les suivantes : 

- rotation, 

- zoom discret, 

- zoom continu, 

- reglage, 

- commutation 

et. les moyens d'tnteraction gestuels etant utilises, les 
actions en fonction de I'objet seiectionne peuvent etre 
def inies par exemple de la manidre suivante : 

- si Tobjet est un element graphique simple, Tac- 
tion est une rotation, 

- si I'objet est une fenetre, Taction est un zoom 
discret ou continu, 

- si I'objet est un potentiometre rotatif. Taction est 
un reglage, 

- si Tobjet est un interrupteur ou un bouton, Tac- 
tion est une commutation. 

Toutes ces actions executables sont memorisees 
dans les moyens de memorisation 3. 

La figure 2 Ulustre les echanges de donnees en- 
tre ces derniers et les moyens d'anatyse 2. Les 
moyens d'analyse transmettent les nmyens d'interac- 
tion utilises 5, les objets deslgnes 6 eties commandes 
7. aux moyens de memorisation 3. Les trois types de 
parametres peuvent par exemple constituer Tentr6e 
d'une table, lis designent les actions executables 8, 
ces dernieres etant lues par les moyens d'analyse 2. 



Le sens de la commande est interpretee par les 
moyens d'analyse 2 apres avoir ete interpretee de fa- 
gon syntaxique en reconnaissant son vocabulaire. 
Les commandes 7 servant ^ designer les actions exe- 

5 cutables sont done une traduction codee des 
commandes executees par Toperateur, par exemple 
le geste "prendre un objet du bout des doigts puis 
tourner la main autour de Taxe" ou toute autre phrase 
pariee. Les systemes d'interaction homme-machine 

10 peuvent disposer par exemple d'une grahde richesse 
de vocabulaire. En effet, afin de demander un mini- 
mum d'ef forts de la part de Tutilisateur, notamment en 
situation critique, les vocabulaires, vocal ou gestuel, 
sont riches. En consequence, les commandes virtuel- 

15 les integrent un grand nombre de formes de dialo- 
gues. Les commandes virtuelles s'acconrimodent par 
exemple de dialogues riches pour des situations cal- 
mes et de dialogues rapides, de style teiegraphique, 
pour les situations critiques. Dans Texemple cTappTh 

20 cation precedent, la commande virtuelle dont le voca- 
bulaire gestuel est "prendre un objet du bout des 
doigts puis tourner la main autour de Taxe du bras" 
designe un element graphique simple comme objet et 
recourt aux gestes de la main comme moyens d'inte- 

25 raction, et Taction executable designee est la rotation. 

Les moyens d'analyse 2 transmettent une infor- 
mation aux moyens d'execution 4 qui indique que Tac- 
tion d executer est celle designee, ici la rotation dans 
Texemple cite. 

30 L'invention peut s'appliquer d des commandes 

virtuelles ayant un ou plusieurs modes de neialisation. 
II est possible d'evaluer I'ensemble des combinaisons 
de moyens d'interaction qui permettent le deroule- 
ment des phases d'une commande donnee, ces pha- 

35 ses etant par exemple la selection, la validation et la 
ou les actions. 

Chacune de ces combinaisons def in it un mode 
de realisation de la comrnande virtuelle. Selon Tin- 
vention, les actions executables memorisees dans 

40 les nrroyens de memorisation 3 peuvent §tre aussi 
fonction du mode de realisation 1 d'une commande. 

A titre d'exemple, il est possible de considerer un 
systeme d'interaction homme-machine comportant 
comme moyens d'interaction d'entree, c'est-d-dire de 

45 Toperateur vers le systeme, un systeme de recon- 
naissance vocale, un systeme de reconnaissance 
gestuelle et un systeme de detection de la main. Ce 
systeme d'interaction peut avoir par exemple un 
ecran de visualisation comme systeme d'interaction 

50 de sortie. Un exemple de commande realisee peut 
etre par exemple "ef facer un objet de Tecran de visua- 
lisation". La voix peut servir d seiecter et valider en 
pronongant le nom de Tobjet, la validation etant Impli- 
cite. Elle peut aussi ordonner des actions, par exem- 

55 pie Tordre de fermer. La main peut servir d seiecter,' 
en designant du doigt par exemple. Elle peut aussi va- 
lider et ordonner des actions, en produisant des ges- 
tes par exemple. De ces possibilites precitees, se de- 



3 



5 



EP 0 591 044 A1 



6 



duisent au moins trois modes permettant d'ef facer 
Tobjet 

Un premier mode de realisation de la commande 
est totalement vert)al : la voix dit par exemple "effecer 
I'objer, la selection se faisant par le nom de t'objet. la s 
validation 6tant tmpllcite et Taction 6tant "ef facer". 

Un deuxidme mode de r6alisation de ia comman- 
de est verbal avec designation manuelle. U^cran est 
montr^ du doigt ce qui cr6e un retour visuel indiquant 
un point design^, ce point ^tant sur Tobjet d6sign6 par io 
rop^rateur La voix dit par exemple : "effacer", ce qui 
vallde la commande et crSe Taction d'effacer. 

Un trois i^ me mode est totalement gestuel. La 
main s'approche par exemple de T6cran jusqu'^ Tap- 
parition du retour visuel pr^cit^. Le retour visuel est is 
anrten^ sur I'objet, ce qui realise la selection de ce der- 
nier La validation est par exemple r^lis6e parferme- 
ture de la main simulant una prise de Tobjets^ection- 
n6. Un squelette de Tobjet suit alors les mouvements 
de la main par exemple. Pour r^aliser Taction d'effa- 20 
cer Tobjet la main est par exemple 6lorgn6e de T6cran 
puis ouverte. 

Pour cette meme commande pr6cit6e, d'autres 
modes pourraient etre ajout^s, notamment en tenant 
compte du regard de I'op^rateur ou de la posture ou 25 
de la position de son corps par exemple. 

La multimodalit6 des commandos permet ^ Top6- 
rateur d'Interaglr ou de dialoguer avec le syst^me 
d'interaction suivant ses preferences. En s'adaptant 
aux differents modes de realisation des comma ndes, 30 
le dispositif selon Tinvention rend notamment ces der- 
nieres plus eff icaces et plus rapides d'execution. Cet- 
te adaptation etant realisee notamment en rendantles 
actions executables memorisees fonction de ces mo- 
des. 35 

Les commandos peuvent aussi etre adaptees d 
des operateurs. notamment en fonction de leur expe- 
rience ou de ieurcapacite, qu'ils soient novices ou ex- 
perts par exemple. Un autre parametre determinant 
les actions executables memorisees par les moyens 40 
de memorisation 3 est alors ajoute. Ce parametre 
peut §tre Texperience, la qualification ou des ele- 
ments de la personnalite de I'operateur par exemple. 
La specif icite de chaque operateur peut se determi- 
ner par exemple d travers le vocabulaire vocal ou ges- 45 
tuel qu'il emploie. Ladaptation des commandes aux 
operateurs peut se traduire par exemple par un eiar- 
gissement ou par une restriction du champ de leurs 
actions. 

Selon Tinvention, les commandes virtuelles peu- 50 
vent aussi s'adapter au systeme d'interaction hom- 
me-machine sur lequel elles agissent A cet effet, les 
actions executables memorisees sont aussi fonction 
de Tetat du systeme. Cet etat peut etre par exemple 
defini par la combin arson des moyens d'interaction 55 
mis en oeuvre appliquee ^ une action donnee. 

Le dialogue entre un operateur et le systeme est 
ainsi notamment securise. En effet la realisation des 



commandes en fonction de Tetat du systeme evite 
Texecution d'actions parasites inutiles ou inoperan- 
tes, affichaiit de fausses informations, notamment. 
Le dialogue est ainsi securise par le fait que toute 
commande que veut executer un operateur aboutit 
par exemple d une action autre qu'un simple message 
d'erreurs. Un exemple de situation peut alors etre le 
suivant: un operateur desire ouvrir une fenStre. par 
exemple radar. 11 prononce la phrase "ouvrir radar". Or 
la fenetre radar est dejd ouverte, mais est masquee. 
par une autre fenetre. Grdce d Tadaptation de la 
commande e cet etat du systeme, la commande "ou- 
vrir", au lieu de se terminer par un message d'erreur 
du type "fenetre deje ouverte" par exemple, execute- 
ra Taction "passer la fenetre radar au premier plan". 

La figure 3 presente un mode d'uttlisation possi- 
ble du dispositif selon Tinvention. Le systeme d'inte- 
raction homme-machine est base sur Tutilisation d'un 
ecran de visualisation et de moyens d'interaction pri- 
viiegiant des canaux sensoriels et moteurs hu mains 
comme la parole, le geste, TouTe et la vue notamment. 
Son utilisation peut permettre la gestion de systemes 
complexes, comme un systeme d'avion par exemple, 
en assurant notamment un dialogue quasi natural en- 
tre un operateur et la machine. L'operateur, au nrK>yen 
de gestes ou da paroles par exemple. interagit avec 
Tecran de visualisation qui est un espace contenant 
des objets sur lesquels vont porter les commandes 
virtuelles. 

Les moyens d'interaction 1 comprennent des 
moyens d'interaction d*entr6e 31, 32, 33, 34 et des 
moyens d'interaction de sortie 35. 36. Ces derniers 
comprennent Tecran da visualisation 35 precite et un 
systeme de synthese vocale 36 qui peut deiivrer des 
messages vqcaux, des alarmes ou des messages 
d'erreur par exemple. L'ecran de visualisation 35 est 
par example uh ecran eclaire par un retroprojecteur^ 
cristaux liquides. 

Les moyens d'interaction d'entree comprennent 
un oculometre 31 , un systeme de reconnaissance vo- 
cale 32, un systeme de reconnaissance gestuelle 33 
et des capteurs de positions 34. L'oculometre 31 me- 
sure la direction du regard de Toperateur 37 par rap- 
ports la tetede cedernier S Taide d'une microcamera 
analysant le reflet corneen d'une diode Infra-rouge 
edairant son oeil droit par exemple. Le systeme de re- 
connaissance vocale 32 declenche par exemple par 
une detection d'activite, effectue une analyse phone- 
tique du signal apres Tavoir separe en messages et 
en mots par exemple. Le systeme de reconnaissance 
gestuelle 33 reconnatt par exemple les gestes de la 
main. A cet effet, 11 est par exemple constitue d'un dis- 
positif S fibre optique equipant un gant porte par ia 
main, permettant de mesurer Tangle de flexion des 
deux premieres articulations de chaque doigt Un dis- 
positif associe permet par exemple de reconnaltre 
une posture, la forme de la main notamment, parmi 
un ensemble de postures prealablement enregis- 
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tr6es. Les capteurs de positions 34 sont par exemple 
des capteurs ^tectromag antiques coupl6s d des 
^metteurs f ixes donna nt les positions et les orienta- 
tions de la main et de la tete de Top^rateur 37, ils 
pourraient cependant capter la position d'autres par- 
ties du corps de Top^rateur 37. Tous ces moyens d'in- 
teraction d'entr6e sont par exemple autonomes et 
fournissent cycliquement de mani^re asynchrone des 
donn^es sur ractivit6 de Topdrateur 37. . 

Les nioyens dMnteraction d*entr6e 31, 32, 33.. 34 
sont relics aux moyens d'analyse 2 et les moyens 
d'interaction de sortie 35, 36 sont reli6s aux moyens 
d*ex6cution 4. Sur la figure 3, le sens des f Inches in- 
dique le sens des infornnations 6chang6es. 

A titre d'exemple, les commandes virtuelles sur 
les objets de I'^cran interactif peuvent 3tre de cinq ty- 
pes qui sont les suivants : 

- un message vocal, 

- un message vocal et une. designation manuel- 
le, 

- un message vocal et une dj&slgnation oculaire, 

- un message manuel, 

- un message manuel et une designation oculak 
re. 

Elles peuvent par exemple avoir pour r6suitat les ac- 
tions suivantes : 

- ouverture d'une fenStre, 

- fermeture d'une fen^tre, 

- zoom d'une fenStre. 

- deplacement d'une fenfitre, 

- manipulation d'un bouton, 

- reglage d*un potentiom^tre. 

Ces acttons sont notamment memoris6es dans 
les moyens de memorisation des actions ex^cutables 
3. Ces actions sont par exemple fonction des param^- 
tres precites, d savoir, les moyens d'interaction utili- 
ses, les commandes, les objets, et les modes de rea- 
lisation des commandes, les operateurs ou retat du 
systeme. Par exemple, le geste signifiant "prendre" 
est interprete comme "deplacer" si I'objet sur lequel il 
porte est une fenetre ou comme "marquer* si I'objet 
sur lequel il porte est un bouton. 



d'une commande, d'un moyen d'interaction et 
d'un objet, les moyens de memorisation (3) 6tant 
relies aux moyens d'analyse (2) de maniere e ce 
que ceux-ci transnriettent d des moyens d'execu- 
5 tion (4) une action d executer en fonction au 

moins de la connmande et des moyens d'interac- 
tion utilises par I'operateur (37) et de i'objet qu'il 
designe. 

10 2. Dispositif selon la revendication 1 , caracterise en 
ce que tes actions executables memorisees sont 
fonction des modes de realisation des comman- 
des. 

15 3. Dispositif selon Tune quelconque des revendica- 
tions precedentes, caracterise en ce que les.ac- 
tioris executables memorisees sont fonction de 
I'operateur (37). 

20 4. Dispositif selon i'une quelconque des revendica- 
tlons precedentes, caracterise en ce que les ac- 
tions executables memorisees sont fonction de 
retat du systeme d'interaction homme-machine. 

25 5. Dispositif selon I'une quelconque des revendica- 
tions precedentes, caracterise en ce que les 
moyens d'interaction (1) comprennent un oculo- 
metre (31), un systeme de reconnaissance voca- 
le (32). un systeme de reconnaissance gestuelle 

30 (33) et des capteurs de position (34) de I'opera- 

teur (37). 

6. Dispositif selon I'une quelconque des revendica- 
tions precedentes, caracterise en ce que les 

35 conmnandes portent sur des objets visualises par 

un ecran (35). 

7. Dispositif selon I'une quelconque des revendica- 
tions precedentes. caracterise en ce que les 

40 commandes agissent sur un systeme de synthe- 

se vocate (36). 



Revendications 
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Dispositif d'execution de commandes virtuelles 
comportant des moyens d'interaction (1) entre un 
operateur (37) et un systeme d'interaction hom- 
me-machine, et des moyens d'analyse (2), les 
moyens d'interaction (1) fournissant des informa- 
tions aux moyens d'analyse (2) qui reconnaissent 
une commande, realisee par I'operateur (37), in- 
diquant une action et un objet designe sur lequel 
porte cette action, caracterise en ce qu'il compor- 
te en outre des moyens de memorisation (3) des 
actions executables par le systeme, une action 
executable mennorisee etant fonction au moins 
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